10/3、Splunk 社のパートナー向けオフライン勉強会を開催いただき、AWS のデータ取り込みについてセッションを受講してきました。

本ブログでは、セッション内でご説明いただいた Amazon GuardDuty がイベントを検知し、 EventBridge 経由で Splunk Cloud にデータを送信する方法についてご紹介します。

講師およびハンズオンの概要

• 講師: Splunk APAC クラウドテクニカルストラテジスト Trav Kane（T-REX）さん
• 所要時間: 20分
• 前提知識: Splunk Basic Workshop受講済みレベルの知識（Splunkの不定期開催ワークショップから申し込み可）、AWSサービスに関する一般知識
• ハンズオン資料: こちらに公開されています
• コンテンツ: Lab2 - Setup Eventbridge to send Amazon GuardDuty logs to Splunk using native EventBrirdge PUSH method
• ※本ブログは上記ハンズオン内容に沿った内容となっております。

設定の流れ

1. EventBridge に設定する HEC トークンを作成する
2. EventBridge で Splunk を API 宛先として設定する
3. GuardDuty イベント用に EventBridge ルールを設定する
4. ログが流れていることを確認する

構成図

HTTP Event Collector (HEC) を使用します。HTTPS プロトコルで Splunk Cloud のエンドポイントにデータを送信していきます。

それでは早速やってみましょう！

EventBridge に設定する HEC トークンを作成する

まず、HEC トークンを作成するには、HTTP Event Collector を作成します。

1. Setting（設定） > Data Input（データ入力）を選択
2. HTTP Event Collector を選択
3. New Token（新規トークン）を選択
4. HEC Token の Name を入力（例：画像）
5. 任意で Enable Indexer ack knowledgement を設定する

Enable Indexer ack knowledgement は、取り込んだデータの重複や欠落を防ぐための機能です。Splunk Cloud では、データ取り込みパイプラインに Amazon Data Firehose を使う場合に限り、有効化することで Splunk がデータを Indexer に登録した後、ackID というものを発行し、フォワーダーへ通知をする仕組みになっており、ユーザ環境と Splunk Cloud 間での NW 断絶や Splunk インスタンスの停止などに備え、ackID を受けたデータが Indexer に登録されていることを証明するように動作させることができます。
参考：About HTTP Event Collector Indexer Acknowledgment | Splunk Docs

6. NEXT を選択

7. ソースタイプの欄で select（選択）の項目を選択する

8. Select Source Type（ソースタイプの選択）を選択し、既存のソースタイプを選択するか、ここで新たに作成する

9. 任意のインデックスを選択する

10. review（確認）して問題なければ Submit（実行）する

11. 払い出された HEC Token をどこかにコピーする

EventBridge で Splunk を API 宛先として設定する

EventBridgeでキャプチャしたイベントを Splunk Cloud の RESTful API エンドポイントに送信するために EventBridge で API 送信先の設定を行います。

1. AWS コンソールの Amazon EventBridge 画面で API Destinations（APIの送信先）を選択する

2. Create API Destination（API 送信先を作成）を選択する

3. 「API 送信先エンドポイント」に次の形式で入力する

   <protocol>://http-inputs-<host>.splunkcloud.com:<port>/<endpoint>

   • protocol は、http か https です。サーバ設定に依存します。
   • host は、「.splunkcloud.com」の前にあるサブドメイン部分のことです。
   • port は、8088 か 443 になります。サーバ設定とライセンスに依存します。
   • endpoint は、次の３つのいずれかです。取り込むログ形式に依存します。
     • /services/collector/event
     • /services/collector/raw
     • /services/collector/*

項目 3. の参考元：Splunk Cloud Platform の HTTP イベント コレクターにデータを送信する | Splunk Docs

4. 「新しい接続」を選択し、接続先の名前を入力する（画像の例：SplunkConnection）

6. 「送信先タイプ」を「パートナー」としてチェック
7. 「パートナーの送信先」を「Splunk」として選択
8. 「認証タイプ」を「API Key」としてチェック
9. 「API キー名」に「Authorization」として入力
10. 「値」に「Splunk <HEC Token>」として入力

値の部分は、Splunk の後ろに半角スペースが入ります。また、HEC Token は、「EventBridge に設定する HEC トークンを作成する」の章でコピーしたトークンを使用します。

これで、EventBridge から Splunk に API 送信先の設定が完了しました。

GuardDuty イベント用に EventBridge ルールを設定する

次に EventBridge がどのイベントを監視するのかを決めるルールを作成します。

1. Amazon EventBridge の画面で「ルール」を選択する
2. 「ルールを作成」を選択する
3. 「名前」を入力する（画像の例：SplunkGuardDutyRule）

4. 他はデフォルトのまま「次へ」を選択する
5. イベントソースの欄で「AWS イベントまたは EventBridge パートナーイベント」を選択する

6. イベントパターンの欄でイベントソースに「AWS のサービス」を選択する
7. AWS のサービスで「GuardDuty」として選択する
8. イベントタイプで「すべてのイベント」として選択して「次へ」を選択する

なお、7, 8 の項目は任意の値に変更することで、他の AWS リソースやサービスのイベントを Splunk　に連携出来ます。

9. ターゲットタイプで「EventBridge API の宛先」を選択する
10. API 送信先で「既存の API 送信先を使用」を選択し、先ほど「EventBridge で Splunk を API 宛先として設定する」で作成した API 送信先を選択する
11. 実行ロールで「この特定のリソースについて新しいロールを作成」もしくは「既存のロールを使用」を選択する

11 の実行ロールは新規作成すると AWS アカウントに EventBridge のロールが作成されます。

ここまで出来れば、ログ連携の設定は完了です。

ログを確認してみましょう！Splunk Cloud の Search & Reporting で、最初に HEC の設定で指定したインデックス名とソースタイプを検索。

index=aws-data sourcetype="aws:cloudwatch:guardduty"

すると、GuardDuty のログ（サンプルイベント）を確認することができました！

これでログ取り込みの手順は完了です。お疲れ様でした！

もしも、ログが流れてこない場合は..

次の２つを確認してみてください！

• １つ目：GuardDuty の設定
  設定の「検出結果のエクスポートオプション」を確認します。

時間間隔によって、EventBridge の更新頻度が変わりますので確認してみてください。

• ２つ目：HEC エントポイントの確認
  途中でもお伝えしましたが、Splunk Cloud のトライアル版か有料ライセンス版か、ポートはあってるか、プロトコルはあっているか、「http-input」は入っているか。見てみてください。

Send data to HTTP Event Collector on Splunk Cloud Platform | Splunk Docs

まとめ

今回は HEC を使って Amazon GuardDuty のログ取り込みについて、Splunk Cloud での設定方法をご紹介しました。

Amazon EventBridge の料金
によると、EventBridge の API Destinations は次の料金例の様に低コストでイベントを発行できるのも嬉しいポイントですね！

料金の例

EventBus エンドポイントから HTTP エンドポイントまで 1 か月で 200 万のイベントを呼び出す場合、料金は次のようになります。

月間のイベント = 200 万件のイベント
毎月の API Destination の料金 = 200 万 * 0.20 USD/100 万 = 0.40 USD/月